AI Papers Daily

#data augmentation

5 篇

How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates

如何对齐你的模型：用模板扩展多语言安全训练

🧭 多语言安全对齐数据增强

ETH Zurich

提出模板化多语言安全数据增强流水线，发布60语言MSafeTemp语料并揭示英语评估会误判多语言安全

📌 工作参考价值（4 点）

• 多语言生成式推荐/搜索的评估必须本地化：论文证明仅英语评估会漏掉多语言攻击和文化适配后的失败。电商全球场景中，多语言产品描述生成、搜索建议、客服Agent的安全与质量评估同样不能只测英语，需构建目标语言+文化适配的测试集，尤其注意文化特定实体（本地品牌、俗语、敏感话题）。
• 模板化数据增强可复用于多语言query/文案生成：从已有的有害/敏感prompt中抽取安全模板，翻译并填充文化真实实体，是低成本扩充多语言训练数据的方法。在推荐系统里可类比地用于生成多语言搜索词、商品标题或营销文案的多样化训练样本，避免人工撰写成本。
• 安全对齐是部署多语言LLM Agent的硬前提：搜索推荐Agent会处理用户输入并返回建议，若多语言安全漏洞被利用，后果严重。这篇工作提示在训练或SFT阶段应加入多语言安全数据，且要包括本地化有害实体，而不是简单翻译英语安全样本。
• 数据质量控制流程值得借鉴：论文中通过母语者验证、自动过滤等步骤确保生成语料质量，这种流水线可迁移到业务中大规模生成数据时的质量把关环节。

Training | 2026-10-29 | cs.LG | score 6/10

multilingual safetydata augmentationtemplate-basedalignmentlow-resource languagesred-teaming

Learning to Learn from Context: Synthetic Training from Perturbed Public Documents

从扰动公开文档合成训练数据提升大模型上下文学习能力

🧭 LLM 合成数据与上下文学习训练

AllSpark Team

用少量扰动公开文档合成10k上下文推理样本，将35B模型CL-bench从13.7%提升至24.6%，媲美万亿参数模型

📌 工作参考价值（4 点）

• 用于电商知识库/RAG 助手训练：把产品说明、活动规则、广告政策等内部文档做同义改写/扰动，再生成需逐段推理的问答，只保留“去掉文档就答不对”的样本，可低成本造出强迫模型依赖上下文而不是记忆的数据。
• 两阶段训练：SFT 提升基础上下文跟随，再接 rubric-reward RL 用评分准则作奖励，在少量数据（10k）下把小参数 MoE 模型拉到接近大模型；适合业务中无法大规模标注的场景。
• 过滤机制可复用：用改写前后答案变化、引用证据检查等方法自动筛选高质量上下文依赖样本，避免合成数据里混入可通过参数知识回答的“伪上下文”样本；对长商品描述、多轮 Agent 工具结果等场景尤其有价值。
• 观察到的迁移：改进集中在长上下文理解、指令遵循和推理，对代码和知识影响小。如果业务目标是让模型在复杂上下文里做推荐决策/政策合规，可比通用知识注入更精准。

Training | 2026-09-26 | HF Daily | score 7/10

synthetic datacontext learningSFTRLlong contextdata augmentation

Generalization in offline RL: The structure is more important than the amount of pessimism

离线强化学习泛化：悲观结构比悲观程度更重要

🧭 离线RL泛化 · 悲观结构对称性

Delft University of Technology

在上下文MDP中，悲观结构的对称性而非悲观程度，决定了离线RL最优泛化；建议用策略提取一致性增强。

📌 工作参考价值（4 点）

• 设计离线策略学习时，优先考虑数据覆盖的结构对称性，而不是盲目调节保守系数。
• 数据增强不应仅用于扩充训练集，更应通过策略提取阶段的一致性损失注入对称归纳偏好，尤其适用于已知旋转、平移等对称性的推荐/Agent环境。
• 若业务场景存在对称性（如用户偏好对商品类别旋转不变），可显式约束价值函数对称，以提升泛化。
• 离线训练Agent时，避免在增强数据上直接做价值迭代，改用先离线训练再策略提取时加入一致性正则，能更稳定地利用增强。

Agent | 2026-07-02 | cs.LG | score 6/10

offline RLgeneralizationpessimismsymmetrydata augmentationconsistency loss

Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining

解密数据受限下语言模型预训练的训练时数据增强

🧭 训练时增强 · 多轮训练正则化

UC San Diego · RMIT University · Bloomberg AI

系统研究三类训练时增强（token噪声、序列置换、目标偏移）缓解自回归模型在多轮数据训练时的严重过拟合

📌 工作参考价值（4 点）

• 当训练数据有限需反复遍历（如用户行为序列）时，可在自回归下一行为预测中引入随机 token 替换或 masking 作为增强，延迟过拟合，降低验证损失。
• 组合多种增强类别（如随机替换 + 序列逆序 + 偏移预测）能进一步降低最小验证 loss，可作为通用训练 trick 加入推荐模型的预训练或微调流程。
• 目标偏移预测（预测未来第 k 个 token）可迁移到用户长序列建模中，强制模型学习更长期的依赖，减轻短视过拟合。
• 该方法实现简单，不改变模型结构，适合在现有自回归推荐（如 SASRec 类）或 LLM-based 生成式推荐中快速实验。

Training | 2026-06-18 | HF Daily | score 7/10

data augmentationpretrainingoverfittingdata-constrainedautoregressiveregularization

Synthetic Data from Cross-Domain Events for Large-Scale Recommendation Systems

通过跨域事件合成数据增强大规模推荐系统

🧭 跨域合成数据增强推荐 ★ 深度解读

Meta

将跨域交互迁移建模为合成数据生成，以模型无关方式缓解目标域数据稀疏

📌 工作参考价值（4 点）

• 解耦的数据驱动跨域增强：将源域交互转换为目标域格式的合成事件，不侵入下游模型架构，可在多个模型（排序、校准、出价等）间复用同一份合成数据集，显著降低工程耦合。
• 采样优于确定性Top-K：实验证明从条件概率分布中采样生成合成事件，相比Top-1选择，能覆盖30%的目标物品目录（Top-1仅4%），显著提升多样性和泛化性能；该结论可推广到任何需要合成交互的场景。
• 分布对齐提升效果：对合成事件按物品价值分桶下采样（bucket-wise downsampling），使其分布匹配原始数据，能带来额外0.13%的相对NE改善；简单有效的后处理trick。
• 合成数据质量控制：过滤低置信度翻译事件、移除有分布偏移的特征（防止模型利用合成/真实域信息作弊）可提升模型校准度与排序质量，值得在合成数据生产流水线中直接落地。

RecSys | 2026-05-29 | cs.IR | score 8/10

synthetic datacross-domain recommendationdata augmentationimplicit feedbackscalable recommendation